“我們瞄準的是 AI 推理市場——那里才是真正的、萬億美元級別的機會。訓練規模很大，但推理將被用于所有場景。人們正在耗盡可用的推理算力容量。”甲骨文創始人Larry Ellison在財報會議上的這句話，以及剩余履約義務(RPO)飆升至4550億美元的佐證，幫他在一夜之間登頂全球首富。
早在2024年AI應用爆發之時，Larry Ellison就已多次做過“推理會被用于一切”預判。AI訓練需求通常是周期性、高強度的資源消耗，通常在超大 GPU 群上、一次性或周期性發生。只有AI推理需求才是將模型“產品化、服務化”后的持續調用——每天、每秒、在千萬級用戶或千百個自動化系統中被不斷觸發，這種常態化、大量化的資源占用將帶來AI云服務的持續增長。
智通財經APP獲悉，近期，七牛智能(02567)在財報中公布AI相關收入達1.84億元，貢獻了總收入的22.2%。相關業務負責人則表示，公司AI相關收入主要集中于AI推理服務和算力資源上，在8月初AI相關用戶突破萬人的基礎上，近期得益于可調用的大模型數量超過50個，涵蓋了LLM推理模型、工具調用、AI編程、推理接口支持Claude CodeAI等功能，七牛智能AI相關用戶已達15000人。
要承接AI推理需求并不容易，需要在生產環境中不斷降低模型推理請求的端到端延遲、提高吞吐率，快速響應用戶或業務系統的請求，在高請求壓力(QPS——每秒請求數)和TPM吞吐率的要求下，推理算力需求遠超訓練。此外，由于推理模型要給出有用、可操作的答案，需要高質量、可連通的企業數據，企業級、垂直行業級的海量結構化數據資產則是進入“推理時代”的關鍵資源。
得益于七牛智能過去14年以來在音視頻云服務上的積累，七牛智能低延遲、高吞吐的全球實時節點、海量存儲能力，以及將私有的音視頻異構數據通過向量化、Private LLM 接入等技術，安全地“向推理模型暴露”，這些能力都將反哺七牛智能的AI云服務第二增長曲線，在推理算力的價值鏈中占據上游數據提供與中游算力基礎設施的雙重位置，從而拿到長期可觀的推理算力營收與服務費，實現服務量價的雙重增長。